Sinh tại Abidjan, Didier Drogba trải qua thời thơ ấu tại Bờ Biển Ngà và nước Pháp. Tito, biệt danh mà bạn bè và gia đình thường gọi, rời quê nhà khi mới 5 tuổi. Anh đến Brest thuộc vùng Brittany ở cùng ông chú, Michel Goba, một cầu thủ bóng đá chuyên nghiệp. Drogba sống ở Pháp 3 năm, cùng với chú ở Brest, Angoulême và Dunkerque trước khi trở về quê hương.

Do suy thoái kinh tế ở quê nhà nên anh trở lại sống với chú ở Dunkerque, tiếp tục có dịp đi vòng quanh nước Pháp. Thời điểm đó anh bắt đầu chơi bóng đá. Năm 1991 cha mẹ anh cũng đến Pháp, trước tiên tới Vannes và năm 1993 định cư tại Antony thuộc vùng ngoại ô Paris. Đó là lúc cậu thiếu niên 15 tuổi Drogba đoàn tụ với gia đình. Ban đầu anh đăng ký vào câu lạc bộ địa phương Levallois, và khi trình độ nâng cao, chơi cho đội bóng tại National 2, giải hạng Tư của Pháp năm 18 tuổi.